home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1994 March / Internet Info CD-ROM (Walnut Creek) (March 1994).iso / inet / internet-drafts / draft-ietf-osids-dsa-metrics-01.txt < prev    next >
Text File  |  1993-04-30  |  43KB  |  1,268 lines

  1. Network Working                                              P. Barker
  2. Group                                        University College London
  3. INTERNET-DRAFT                                              R. Hedberg
  4.                                             Technical University Delft
  5.                                                             April 1993
  6.  
  7.  
  8.  
  9.  
  10.  
  11.                              DSA Metrics
  12.  
  13.  
  14.                            (OSI-DS 34 (v3))
  15.  
  16.  
  17.  
  18.  
  19.  
  20.  
  21. Status of this Memo
  22. This document defines a set of criteria by which a DSA implementation
  23. may be judged.  Particular issues covered include conformance to
  24. standards; performance; demonstrated interoperability.
  25. The intention is that the replies to the questions posed provide a
  26. fairly full description of a DSA. Some of the questions will yield
  27. answers which are purely descriptive; others, however, are intended to
  28. elicit answers which give some measure of the utility of the DSA. The
  29. marks awarded for a DSA in each particular area should give a good
  30. indication of the DSA's capabilities, and its suitability for
  31. particular uses.
  32.  
  33. Please send comments to the authors or to the discussion group
  34. <osi-ds@CS.UCL.AC.UK>.
  35. This document is an Internet Draft.  Internet Drafts are working
  36. documents of the Internet Engineering Task Force (IETF), its Areas,
  37. and its Working Groups.  Note that other groups may also distribute
  38. working documents as Internet Drafts.
  39. Internet Drafts are draft documents valid for a maximum of six months.
  40. Internet Drafts may be updated, replaced, or obsoleted by other
  41. documents at any time.  It is not appropriate to use Internet Drafts
  42. as reference material or to cite them other than as a "working draft"
  43. or "work in progress."
  44.  
  45. Please check the I-D abstract listing contained in each Internet Draft
  46. directory to learn the current status of this or any other Internet
  47. Draft.
  48.  
  49.  
  50.  
  51.  
  52. INTERNET--DRAFT                 DSA Metrics                 April 1993
  53.  
  54.  
  55. Contents
  56.  
  57. 1   Overview                                                         2
  58.  
  59. 2   General Information                                              3
  60.  
  61.  
  62. 3   Conformance to OSI Standards                                     4
  63.     3.1    Directory protocols................................       4
  64.     3.2    Implementors' agreements and profiles  ............       5
  65.  
  66.     3.3    Protocol stacks....................................       6
  67.     3.4    DIT structure  ....................................       6
  68.  
  69. 4   Other protocols                                                  6
  70.  
  71.  
  72. 5   Extensions to the 1988 Standard                                  7
  73.     5.1    Schema ............................................       7
  74.     5.2    Support for replication............................       7
  75.  
  76.     5.3    Support for access control ........................       8
  77.     5.4    Miscellaneous  ....................................       9
  78.  
  79.  
  80. 6   Miscellaneous characteristics                                    9
  81.  
  82. 7   Management tools                                                11
  83.     7.1    Dynamic system management  ........................      11
  84.  
  85.     7.2    Static system management  .........................      11
  86.     7.3    Data management....................................      11
  87.  
  88. 8   Operational Use                                                 11
  89.  
  90.  
  91. 9   Interoperability                                                12
  92.  
  93. 10  Performance                                                     12
  94.     10.1   Speed for various operations  .....................      13
  95.  
  96.         10.1.1   Bind ........................................      14
  97.         10.1.2   List ........................................      14
  98.         10.1.3   Search  .....................................      14
  99.  
  100.         10.1.4   Read ........................................      15
  101.         10.1.5   Add entry....................................      15
  102.         10.1.6   Modify entry ................................      15
  103.  
  104.         10.1.7   Modify RDN  .................................      16
  105.         10.1.8   Query rate  .................................      16
  106.  
  107.  
  108. Barker and Hedberg             Expires Oct 31 1993              Page 1
  109.  
  110.  
  111.  
  112.  
  113. INTERNET--DRAFT                 DSA Metrics                 April 1993
  114.  
  115.  
  116.     10.2   The results........................................      16
  117.     10.3   Environment used for benchmarking  ................      16
  118.  
  119.  
  120. 1  Overview
  121.  
  122. The purpose of this document is to define some metrics by which DSA
  123. products can be measured.  Such metrics are valuable as whilst an
  124. X.500 DSA must conform to the specification in the standard - this is
  125. a sine qua non - protocol conformance is not in itself the hallmark of
  126. a usable implementation.  A DSA must perform operations within a
  127. reasonable time; a DSA must offer good throughput of queries; a DSA
  128. must be able to handle a reasonable volume of data; if modification
  129. operations are provided, some sort of access control must be provided;
  130. a DSA and its data must be manageable.
  131.  
  132. In many respects, it is almost impossible to say that one DSA is
  133. better than other from looking at the responses to questions in this
  134. document.  For some, the cost or level of support will be the key
  135. criterion.  For another user, the flexibility of the schema management
  136. facilities, or the feasibility of running the DSA over an existing
  137. relational database, will be of prime importance.  In many respects
  138. DSAs will just be different, rather than better or worse.
  139. However, all other things being equal, the look-up speed of a DSA is
  140. very obviously measurable, and there is a substantial number of
  141. questions on the speed of the various X.500 operations, and in
  142. particular on the look-up operations.
  143. Throughout this document, some of the questions posed are annotated
  144. with a square-bracketed points score and an explanation as to how the
  145. points should be allocated.  For example, a question might be appended
  146. with ``[2 if yes]'', indicating score 2 points for an affirmative
  147. answer to that question.  These points scores should be collated in
  148. Table 1 at the end of the document.  The questions on DSA performance
  149. are judged to be important enough to have a separate table for those
  150. results:  they appear in Table 2 (and optionally Table 3).  Together,
  151. these tables constitute a measure of the DSA.
  152.  
  153. The metrics are on a section by section basis, which should help the
  154. reader who is seeking, for example, a DSA with fast look-up
  155. capabilities and extensive access control facilities, to focus on the
  156. critical aspects of a DSA for their particular requirement.  No
  157. conclusions should be inferred from adding the scores together into
  158. one overall grand total and comparing such totals for different DSAs,
  159. as no attempt is made to assign weights to the different
  160. characteristics.
  161. Whilst much of this document should usually be completed by the
  162. developers or suppliers of an implementation, the section on
  163. performance could be completed by anyone running the implementation.
  164. Indeed, it will be beneficial if several sets of performance figures
  165. can be gathered for each implementation, for a variety of hardware
  166. platforms.
  167.  
  168.  
  169. Barker and Hedberg             Expires Oct 31 1993              Page 2
  170.  
  171.  
  172.  
  173.  
  174. INTERNET--DRAFT                 DSA Metrics                 April 1993
  175.  
  176.  
  177. 2  General Information
  178.  
  179. This section contains general information about the implementation
  180. under discussion.
  181.  
  182.  
  183. 1.  Name of the information provider ................................
  184.  ....................................................................
  185.  
  186. 2.  Name of the implementation ......................................
  187.  
  188. 3.  Version number of the DSA described in this document ............
  189.  
  190. 4.  Are there plans to implement the additional features describe in
  191.     the 1992/3 standard?  [6 for full implementation, 4 if both access
  192.     control and replication to be implemented, 2 for some 1992
  193.     features] .......................................................
  194.  
  195. 5.  Name and address of supplier or person to contact ...............
  196.  ....................................................................
  197.  ....................................................................
  198.  ....................................................................
  199.  ....................................................................
  200.  ....................................................................
  201.  ....................................................................
  202.  
  203. 6.  Describe the hardware and software platforms supported by the DSA
  204.     [up to 4 points may be awarded for this question]
  205.  
  206.    (a)  Hardware (If appropriate, can summarise as, for example
  207.         ``generic UNIX platform'') ..................................
  208.  
  209.    (b)  O/S (state version if critical)
  210.  
  211.         i.  UNIX) (be sure to indicate which flavour - e.g.  SYSV [1],
  212.             BSD [1], SUNOS, etc) ....................................
  213.  
  214.        ii.  VMS) [1] ................................................
  215.  
  216.       iii.  MS-DOS [1] ..............................................
  217.  
  218.        iv.  Macintosh [1] ...........................................
  219.  
  220.         v.  Other) [1] ..............................................
  221.  
  222. 7.  Name any other software required to run the system which is not
  223.     supplied with the operating system or with the DSA software
  224.     itself.  Examples might include a database package, or
  225.     communications software .........................................
  226.  ....................................................................
  227.  
  228.  
  229.  
  230. Barker and Hedberg             Expires Oct 31 1993              Page 3
  231.  
  232.  
  233.  
  234.  
  235. INTERNET--DRAFT                 DSA Metrics                 April 1993
  236.  
  237.  
  238. 8.  Is this DSA an integrated part of a software package, and in such
  239.     case which ?  ...................................................
  240.  ....................................................................
  241.  
  242. 9.  Is the software free?  If the DSA needs other packages, are these
  243.     also freely available?  [3 if completely free, 1 if requires
  244.     commercial software package] ....................................
  245.  ....................................................................
  246.  
  247. 10. Is commercial support available for this implementation?  [3] ...
  248.  
  249. 11. Is free, best effort support available from the developers?  [2] .
  250.  
  251. 12. Is free support available via user groups or email lists?  [2] ..
  252.  
  253.  
  254. 3  Conformance to OSI Standards
  255.  
  256. 3.1  Directory protocols
  257.  
  258. 13. Does the DSA implement DAP?
  259.  
  260.    (a)  Read ASE? [2] ...............................................
  261.  
  262.    (b)  Search ASE? [2] .............................................
  263.  
  264.    (c)  Modify ASE? [2] .............................................
  265.  
  266. 14. Does the DSA implement DSP?
  267.  
  268.    (a)  Chained read ASE? [2] .......................................
  269.  
  270.    (b)  Chained search ASE? [2] .....................................
  271.  
  272.    (c)  Chained modify ASE? [2] .....................................
  273.  
  274. 15. Statement requirements according to section 9.2.1 in X.519.
  275.  
  276.    (a)  Supported application-contexts?  ............................
  277.  
  278.    (b)  Capable of acting as first-level DSA? [1] ...................
  279.  
  280.    (c)  Chained mode supported?  [1] ................................
  281.  
  282.    (d)  Security-level(s) supported?  [1 for strong + 1 for protected
  283.         simple + 1 for simple authentication] .......................
  284.  
  285.    (e)  All attribute types according to X.520?  [1] ................
  286.  
  287.    (f)  All object classes according to X.521?  [1] .................
  288.  
  289.  
  290.  
  291. Barker and Hedberg             Expires Oct 31 1993              Page 4
  292.  
  293.  
  294.  
  295.  
  296. INTERNET--DRAFT                 DSA Metrics                 April 1993
  297.  
  298.  
  299. 16. Does the implementation meet the conformance clauses in section
  300.     9.2.2 and 9.2.3 of X.519?
  301.     Static requirements [2 if yes on all]
  302.  
  303.    (a)  Abstract syntaxes of application contexts ...................
  304.  
  305.    (b)  Abstract syntaxes of information framework ..................
  306.  
  307.    (c)  Minimal knowledge ...........................................
  308.  
  309.    (d)  Support of root context .....................................
  310.  
  311.    (e)  Abstract syntax - attribute types ...........................
  312.  
  313.    (f)  Abstract syntax - object classes ............................
  314.  
  315.     Dynamic requirements [2 if yes on all]
  316.  
  317.    (a)  Mapping onto underlying services ............................
  318.  
  319.    (b)  Distributed operations - referrals ..........................
  320.  
  321.    (c)  DirectoryAccessAC - referrals ...............................
  322.  
  323.    (d)  DirectorySystemAC - referrals ...............................
  324.  
  325.    (e)  Chained mode ................................................
  326.  
  327. 17. Please list all conformance testing work applied to the
  328.     implementation (specify conformance test version number).  [2 if
  329.     any testing]
  330.  ....................................................................
  331.  ....................................................................
  332.  ....................................................................
  333.  ....................................................................
  334.  
  335. 3.2  Implementors' agreements and profiles
  336.  
  337.  
  338. Does the DSA conform to the following implementors' agreements?  If
  339. so, state parts and version numbers.
  340.  
  341. 18. EWOS? [1] .......................................................
  342.  ....................................................................
  343.  ....................................................................
  344.  
  345. 19. OIW? [1] ........................................................
  346.  ....................................................................
  347.  ....................................................................
  348.  
  349.  
  350.  
  351.  
  352. Barker and Hedberg             Expires Oct 31 1993              Page 5
  353.  
  354.  
  355.  
  356.  
  357. INTERNET--DRAFT                 DSA Metrics                 April 1993
  358.  
  359.  
  360. Does the DSA conform to the following profiles?  If so, state which
  361. version numbers.
  362.  
  363. 20. UK GOSIP? [1] ...................................................
  364.  
  365. 21. US GOSIP? [1] ...................................................
  366.  
  367.  
  368. State any other GOSIP profiles to which the DSA conforms ............
  369. .....................................................................
  370.  
  371. 3.3  Protocol stacks
  372.  
  373. 22. Which of the following transport and network layer protocols does
  374.     the DSA support:
  375.  
  376.    (a)  TP.x over CONS (state transport class)?  [2] ................
  377.  
  378.    (b)  TP.4 over CLNS? [2] .........................................
  379.  
  380.    (c)  TP.x over X.25(1980) (state transport class)?  [2] ..........
  381.  
  382.  
  383. 3.4  DIT structure
  384.  
  385. 23. A suggested DIT structure, detailing an object class hierarchy, is
  386.     presented in X.521.  Does the DSA:
  387.  
  388.    (a)  Enforce this hierarchy?  ....................................
  389.  
  390.    (b)  Allow the enforcement of this hierarchy?  ...................
  391.  
  392. 24. Are structure rules optional or mandatory?  .....................
  393.  
  394.  
  395. 4  Other protocols
  396.  
  397.  
  398. 25. Not everybody uses OSI protocols at the network layer.  Does the
  399.     DSA support other ``network'' layer protocols?
  400.  
  401.    (a)  TP.0 over RFC1006 over TCP/IP [3] ...........................
  402.  
  403.    (b)  State any other options supported.  .........................
  404.      ................................................................
  405.  
  406. 26. Does the DSA also run over any lightweight stack?  If so, describe
  407.     it with reference to the OSI seven layer model [1] ..............
  408.  
  409. 27. Can local DUAs access the DSA directly by some method of
  410.     inter-process communications?  [1] ..............................
  411.  
  412.  
  413. Barker and Hedberg             Expires Oct 31 1993              Page 6
  414.  
  415.  
  416.  
  417.  
  418. INTERNET--DRAFT                 DSA Metrics                 April 1993
  419.  
  420.  
  421.  ....................................................................
  422.  
  423.  
  424. 5  Extensions to the 1988 Standard
  425.  
  426. 5.1  Schema
  427.  
  428.  
  429. 28. Does the DSA fully support RFC1274, ``The COSINE and Internet
  430.     X.500 Schema''?  [2] ............................................
  431.     If not, please supply a list of all those object classes,
  432.     attribute types and attribute syntaxes in RFC1274 which are
  433.     supported on a separate sheet.  This might be summarised by
  434.     saying, for example, ``all those with standard attribute
  435.     syntaxes'', or ``all except fooBar''.
  436.  
  437. 29. Does the DSA implement the schema management defined in the 1992
  438.     standard?  [2] ..................................................
  439.  
  440. 30. If not, is the schema stored in the Directory?  In a distributed
  441.     manner[2] or centralised[1] ?  ..................................
  442.  
  443. 31. Can a DSA manager extend the schema and add new
  444.  
  445.    (a)  Attribute types with existing syntaxes?  With compilation [1],
  446.         or without compilation [2] ..................................
  447.  
  448.    (b)  Attribute syntaxes?  With compilation [1], or without
  449.         compilation [2] .............................................
  450.  
  451.    (c)  Attribute sets?  With compilation [1], or without compilation
  452.         [2] .........................................................
  453.      ................................................................
  454.  
  455.    (d)  Object classes?  With compilation [1], or without compilation
  456.         [2] .........................................................
  457.      ................................................................
  458.  
  459. 32. Is it possible to add in or modify DIT structure rules, with
  460.     compilation [1], without compilation [2] ........................
  461.  
  462.  
  463. 5.2  Support for replication
  464.  
  465. 33. Does the DSA support the replication mechanisms as described in
  466.     the 1992 standard [2]?
  467.  ....................................................................
  468.  
  469. 34. Does the DSA support any other replication mechanisms?  .........
  470.  
  471.    (a)  Replication part of RFC1276 [2] .............................
  472.  
  473.  
  474. Barker and Hedberg             Expires Oct 31 1993              Page 7
  475.  
  476.  
  477.  
  478.  
  479. INTERNET--DRAFT                 DSA Metrics                 April 1993
  480.  
  481.  
  482.    (b)  Other (please give a reference to any description of the
  483.         mechanisms, and indicate whether these mechanisms are used by
  484.         any other implementations) [1 for any mechanism] ............
  485.      ................................................................
  486.      ................................................................
  487.      ................................................................
  488.  
  489. 35. If the DSA supports replication, does it support:
  490.  
  491.    (a)  Replication of a single entry?  [2] .........................
  492.  
  493.    (b)  Replication of a set of sibling entries?  [2] ...............
  494.  
  495.    (c)  Replication of a subtree?  [2] ..............................
  496.  
  497.  
  498. 5.3  Support for access control
  499.  
  500. 36. Does the DSA support access control as described in the 1992
  501.     standard [3]?  ..................................................
  502.  
  503. 37. If not, does the DSA have any access control mechanisms at all?
  504.     [2] .............................................................
  505.  
  506. 38. If yes, does the access control scheme support the following:
  507.  
  508.    (a)  Allow a user to maintain their own entry?  [1] ..............
  509.  
  510.    (b)  Allow a user to maintain some attributes in their own entry,
  511.         but not all attributes?  [1] ................................
  512.  
  513.    (c)  Give management rights to a DSA manager in a fashion analogous
  514.         to the privileges given to a UNIX super-user?  [1] ..........
  515.  
  516.    (d)  Give management rights to a data manager on a per subtree
  517.         basis?  [1] .................................................
  518.  
  519.    (e)  Give management rights (to an entry, group of entries,
  520.         subtree, etc) to a group of users?  [1] .....................
  521.  
  522.    (f)  Give access rights to users on the basis of the leading
  523.         portion of their Distinguished Name?  [1] ...................
  524.  
  525.    (g)  Is it possible to define a protection mechanism for each
  526.         individual attribute type in one entry?  [1] ................
  527.  
  528.    (h)  Maximum number of Distinguished Names that can be defined for
  529.         one access right to one attribute in one entry?  If unlimited,
  530.         state the constraints.  [1 if more than 6 DNs are feasible] :
  531.  
  532.  
  533.  
  534.  
  535. Barker and Hedberg             Expires Oct 31 1993              Page 8
  536.  
  537.  
  538.  
  539.  
  540. INTERNET--DRAFT                 DSA Metrics                 April 1993
  541.  
  542.  
  543.    (i)  Does the DSA support the extended access control techniques
  544.         described in ``An Access Control approach for Searching and
  545.         Listing'' by Hardcastle-Kille and Howes, in the Internet
  546.         Draft, OSI-DS 21?  [2]
  547.      ................................................................
  548.  
  549.    (j)  If there are features of the access control mechanisms which
  550.         are not brought out by the above questions, please describe
  551.         these additional features [up to 2 for wonderful additional
  552.         features!]  .................................................
  553.      ................................................................
  554.      ................................................................
  555.      ................................................................
  556.  
  557. 5.4  Miscellaneous
  558.  
  559.  
  560. 39. Does the DSA fully support RFC1276, ``Replication and Distributed
  561.     Operations extensions to provide an Internet Directory using
  562.     X.500''?  [2] .... If not, please give a list of features that are
  563.     supported.
  564.  ....................................................................
  565.  ....................................................................
  566.  
  567. 40. If the DSA uses RFC1006 and/or X.25(1980) at the network layer,
  568.     does the DSA conform to RFC1277, ``Encoding Network Addresses to
  569.     support operation over non-OSI lower layers'' [3] ...............
  570.  
  571.  
  572. 6  Miscellaneous characteristics
  573.  
  574. 41. Does the DSA use its own database, or can it be used in
  575.     conjunction with a general-purpose database package such as
  576.     Oracle?  [1 for own, 1 for ability to map onto general purpose
  577.     databases, 1 if any such mappings have been made] ...............
  578.  ....................................................................
  579.  
  580. 42. If the DSA runs as a static server, state the start-up time for a
  581.     DSA with a database of 20000 entries.  If this varies widely
  582.     according to configuration options, give figures for the various
  583.     options.  .......................................................
  584.  ....................................................................
  585.  
  586. 43. What is the maximum number of simultaneous associations that the
  587.     DSA may have open?  [1 if more than 15 associations] ............
  588.  
  589. 44. Maximum database size, in entries, megabytes, or as appropriate.
  590.     If none, state what the constraints are.  [1 if a database of more
  591.     than 100,000 entries is feasible] ...............................
  592.  
  593.  
  594.  
  595.  
  596. Barker and Hedberg             Expires Oct 31 1993              Page 9
  597.  
  598.  
  599.  
  600.  
  601. INTERNET--DRAFT                 DSA Metrics                 April 1993
  602.  
  603.  
  604. 45. What is the run-time size of an entry as specified in section 10
  605.     (on performance)?  This should be the marginal size of an entry
  606.     and thus should include the overhead of default indexes, etc.  ..
  607.  
  608. 46. What is the on-disk database size of an entry as specified in
  609.     section 10 on performance?  .....................................
  610.  
  611. 47. Does the DSA make of indexing?  [2 if yes] ......................
  612.  
  613.     If so:
  614.  
  615.    (a)  Can the database be fully inverted?  [1] ....................
  616.         If not, state for which:
  617.  
  618.         i.  attributes indexes are automatically built ..............
  619.          ............................................................
  620.          ............................................................
  621.  
  622.        ii.  attributes/attribute syntaxes indexes may be built ......
  623.          ............................................................
  624.          ............................................................
  625.  
  626.    (b)  Does the index improve performance on:
  627.  
  628.         i.  Exact match [1] .........................................
  629.  
  630.        ii.  Leading substring match [1] .............................
  631.  
  632.       iii.  Approximate match [1] ...................................
  633.  
  634.        iv.  Any substring match [1] .................................
  635.  
  636.         v.  Trailing substring match [1] ............................
  637.  
  638.    (c)  What is the increase in run-time size of an entry when adding
  639.         an index?
  640.      ................................................................
  641.  
  642.    (d)  What is the increase in on-disk database size of adding
  643.         another index?
  644.      ................................................................
  645.  
  646. 48. What sort of approximate match algorithm does the DSA use?
  647.     Describe it briefly .............................................
  648.  ....................................................................
  649.  ....................................................................
  650.  ....................................................................
  651.  
  652. 49. Does the DSA attempt to use relay DSAs (which have access to more
  653.     than one network) in order to achieve connectivity with DSAs which
  654.     are not on the same network?  [2] ...............................
  655.  
  656.  
  657. Barker and Hedberg             Expires Oct 31 1993             Page 10
  658.  
  659.  
  660.  
  661.  
  662. INTERNET--DRAFT                 DSA Metrics                 April 1993
  663.  
  664.  
  665. 7  Management tools
  666.  
  667. 7.1  Dynamic system management
  668.  
  669. 50. Are there tools for monitoring DSA activity, using:
  670.  
  671.    (a)  DAP? [1] ....................................................
  672.  
  673.    (b)  CMIP? [1] ...................................................
  674.  
  675.    (c)  SNMP? [1] ...................................................
  676.  
  677. 51. Are there tools for controlling a run-time DSA? [2] .............
  678.  
  679.  
  680. 7.2  Static system management
  681.  
  682. 52. If knowledge information is stored within the DIT, are there tools
  683.     for knowledge management?  [2] ..................................
  684.  
  685. 53. Are there tools for checking that attributes with Distinguished
  686.     Name syntax contain values of entries in the DIT (i.e.  they do
  687.     not contain ``dangling pointers'')?  [1] ........................
  688.  
  689. 7.3  Data management
  690.  
  691. 54. If the DSA doesn't use a general-purpose database package, what
  692.     data management tools are available?  ...........................
  693.  ....................................................................
  694.  
  695. 55. Are there any tools for arboriculture - the moving, copying or
  696.     deleting of DIT subtrees?  [2] ..................................
  697.  
  698.  
  699. 8  Operational Use
  700.  
  701.  
  702. The DSA may have lots of wonderful features -- on paper!  But has the
  703. DSA been shown to work in practice?  The following measures are
  704. intended to give some measure of confidence that the DSA's viability
  705. has been demonstrated.
  706.  
  707. 56. How many entries in the largest DSA in use in operational use?  :
  708.  
  709. 57. What is the largest set of DSAs supporting an organisation?  ....
  710.  
  711. 58. What is the estimated number of organisations using this
  712.     implementation for service use?  [8 if more than 100
  713.     organisations, 5 if more than 50 organisations, 3 if more than 20
  714.     organisations, 2 if more than 5 organisations, 1 if more than 1
  715.     organisation] ...................................................
  716.  
  717.  
  718. Barker and Hedberg             Expires Oct 31 1993             Page 11
  719.  
  720.  
  721.  
  722.  
  723. INTERNET--DRAFT                 DSA Metrics                 April 1993
  724.  
  725.  
  726. 59. Is this DSA used commercially with an installed base of more than
  727.     10 customers?  [2] ..............................................
  728.  
  729.  
  730. 9  Interoperability
  731.  
  732. The X.500 Directory is the OSI Directory.  OSI stands for Open Systems
  733. Interconnection -- DSAs have to be able to inter-operate.  They also
  734. have to be seen to interoperate.
  735.  
  736.  
  737. 60. Is this DSA in use in X.500 pilots?  ............................
  738.  
  739.    (a)  Is this DSA in use anywhere in the COSINE/Internet Pilot?  [3]
  740.  
  741.      ................................................................
  742.  
  743.    (b)  Is this DSA in use in any other major pilot?  [2] ...........
  744.  
  745. 61. Name any other systems which you believe the system to
  746.     interoperate with.  (It is not sufficient to say ``any system
  747.     which supports the conformance clauses ...'')  ..................
  748.  ....................................................................
  749.  ....................................................................
  750.  ....................................................................
  751.  
  752. 62. Please name all interoperability testing applied to the
  753.     implementation, specify test suite and what other implementation
  754.     that was used [1 per implementation, up to maximum of 5] ........
  755.  ....................................................................
  756.  ....................................................................
  757.  ....................................................................
  758.  ....................................................................
  759.  ....................................................................
  760.  
  761.  
  762. 10  Performance
  763.  
  764. This section should give an outline to the expected performance of the
  765. DSA. A number of operations are timed in order to give a feel for the
  766. DSA's speed and throughput.  Note that all operations should be
  767. resolvable within a single DSA. Chaining and referral are not
  768. assessed, although it should be possible to infer, albeit
  769. approximately, the speed of distributed operations.
  770.  
  771.  
  772. i.  The tests should be made against an organisational database of
  773.     20000 entries.  Some tests are against subsets of this data, and
  774.     so the database should be set up according to the following
  775.     instructions.
  776.  
  777.  
  778.  
  779. Barker and Hedberg             Expires Oct 31 1993             Page 12
  780.  
  781.  
  782.  
  783.  
  784.  INTERNET--DRAFT                 DSA Metrics                 April 1993
  785.  
  786.  
  787.      Create an organisational DSA with 20000 entries below the
  788.      organisation node.  Sub-divide this data into a number of
  789.      organisational units, one of which should contain 1000 entries,
  790.      another of which should contain 100 entries, and a third which
  791.      should contain just 10 entries.  The entries, which should differ,
  792.      should be created with the following attributes:
  793.  
  794.     (a)  Common Name
  795.  
  796.     (b)  Surname
  797.  
  798.     (c)  Telephone number
  799.  
  800.     (d)  Postal Address (of 100 characters)
  801.  
  802.     (e)  Object class
  803.  
  804.  ii. In all the tests, two timings should be taken.  In order to
  805.      normalise the test results as much as possible, it is suggested
  806.      that these tests be undertaken on an otherwise lightly loaded
  807.      machine.
  808.  
  809.     (a)  A typical ``cold start'' reading should be given.  In this
  810.          case the system will not have the advantage of any benefits
  811.          that derive from operating system paging, or caching.
  812.  
  813.     (b)  A best possible figure should be given, which indicates the
  814.          upper limit of DSA performance.
  815.  
  816. iii. The timings should relate to the default set-up, and should be
  817.      entered in Table 2.  If significant performance gains can be made
  818.      by use of configuration options, such as building extra indexes to
  819.      support searches, measures of the improved performance may also be
  820.      given, and should be entered in Table 3.
  821.      Attention should be also drawn to any optimisations, heuristic or
  822.      otherwise, which are not evidenced in the following tests.
  823.  
  824.  iv. Please note that the tests should be made using a DUA and DSA with
  825.      full 7-layer stacks, rather than some lightweight protocol.
  826.  
  827.  
  828.  10.1  Speed for various operations
  829.  
  830.  The tests are described, one subsection per operation.  The results
  831.  should be entered in Table 2 (and Table 3 if a non-default set-up is
  832.  also measured).
  833.  
  834.  
  835.  
  836.  
  837.  
  838.  
  839.  
  840.  Barker and Hedberg             Expires Oct 31 1993             Page 13
  841.  
  842.  
  843.  
  844.  
  845. INTERNET--DRAFT                 DSA Metrics                 April 1993
  846.  
  847.  
  848. 10.1.1  Bind
  849.  
  850. The time it takes for a DUA to bind to the Directory.  This time
  851. should include all the initialisation time a DUA process needs before
  852. it can query the Directory:  e.g.  reading of tailor files, schema
  853. information, etc.
  854. Give the bind time for each of the following levels of authentication.
  855. State ``n/a'' if the implementation does not support a particular
  856. level of authentication.
  857.  
  858.  
  859. 63. Anonymous
  860.  
  861. 64. Simple
  862.  
  863. 65. Simple protected
  864.  
  865. 66. Strong
  866.  
  867. 10.1.2  List
  868.  
  869.  
  870. Give the time for listing a set of organisational unit sibling
  871. entries.
  872.  
  873. 67. 10 entries
  874.  
  875. 68. 1000 entries
  876.  
  877.  
  878. 10.1.3  Search
  879.  
  880. In this section, two sets of search operations should be performed on
  881. the DSA.
  882.  
  883. i.  A single level search of 100 entries within an organisational
  884.     unit.
  885.  
  886. ii. An organisation subtree search, on the subtree of 20000 entries.
  887.  
  888.  
  889. The following searches should be tried.  Unless otherwise stated, the
  890. ``XXX'' or ``YYY'' part of the search filter should be chosen in such
  891. a way as to return a single result.  Unless stated otherwise the
  892. results should return all attributes for the entry.
  893.  
  894. 69. Exact match for a surname:
  895.  
  896.         surname=XXX
  897.  
  898. 70. Leading substring match for a common name:
  899.  
  900.  
  901. Barker and Hedberg             Expires Oct 31 1993             Page 14
  902.  
  903.  
  904.  
  905.  
  906. INTERNET--DRAFT                 DSA Metrics                 April 1993
  907.  
  908.  
  909.         commonName=XXX*
  910.  
  911. 71. Any substring match for a common name:
  912.  
  913.         commonName=*XXX*
  914.  
  915. 72. Trailing substring match for a common name:
  916.  
  917.         commonName=*XXX
  918.  
  919. 73. Approximate match for a common name:
  920.  
  921.         commonName"=XXX
  922.  
  923. 74. More complex filter, searching by object class and two other
  924.     attribute types:
  925.  
  926.         objectClass=person AND
  927.         (commonName=XXX* OR telephoneNumber=*YYY)
  928.  
  929. 75. Search returning all entries (i.e.  100 entries in the single
  930.     level search, and all 20000 entries in the subtree search:
  931.  
  932.         objectClass=*
  933.  
  934.     In this case, no attribute values should be returned in the result
  935.     set.
  936.  
  937. 10.1.4  Read
  938.  
  939. 76. A single read operation, returning all attributes.
  940.  
  941.  
  942. 10.1.5  Add entry
  943.  
  944. 77. Add an entry beneath an entry which has:
  945.  
  946.    (a)  0 children
  947.  
  948.    (b)  10 children
  949.  
  950.    (c)  1000 children
  951.  
  952. 10.1.6  Modify entry
  953.  
  954.  
  955. Modify an attribute value, other than an RDN value, for an entry which
  956. has
  957.  
  958. 1.  10 siblings
  959.  
  960.  
  961.  
  962. Barker and Hedberg             Expires Oct 31 1993             Page 15
  963.  
  964.  
  965.  
  966.  
  967. INTERNET--DRAFT                 DSA Metrics                 April 1993
  968.  
  969.  
  970. 2.  1000 siblings
  971.  
  972. 78. Modify an entry
  973.  
  974.    (a)  Add description attribute
  975.  
  976.    (b)  Remove description attribute
  977.  
  978.  
  979. 10.1.7  Modify RDN
  980.  
  981. Modify an RDN value for an entry with the following number of
  982. siblings.
  983.  
  984.  
  985. 79. Modify RDN
  986.  
  987.    (a)  10 siblings
  988.  
  989.    (b)  1000 siblings
  990.  
  991. 10.1.8  Query rate
  992.  
  993. As the time taken for a single read will usually be negligible, the
  994. following list and set of reads should give a clearer indication of
  995. the query rate.
  996.  
  997.  
  998. 80. A list to return 100 entries for persons, and then a read of each
  999.     entry returning all attribute values.
  1000.  
  1001.  
  1002. 10.2  The results
  1003.  
  1004. The results of the tests just described should be entered in Table 2
  1005. (and optionally Table 3), at the end of the document.
  1006.  
  1007. 10.3  Environment used for benchmarking
  1008.  
  1009.  
  1010. Date of test ........................................................
  1011. Name of tester ......................................................
  1012. .....................................................................
  1013. The results will be directly correlated to the test set-up used, and
  1014. in particular, the hardware.  Please answer the following questions to
  1015. describe the test environment:
  1016.  
  1017.    (a)  Processor (make and model) ..................................
  1018.  
  1019.    (b)  Processor speed (MIPS) ......................................
  1020.  
  1021.  
  1022.  
  1023. Barker and Hedberg             Expires Oct 31 1993             Page 16
  1024.  
  1025.  
  1026.  
  1027.  
  1028. INTERNET--DRAFT                 DSA Metrics                 April 1993
  1029.  
  1030.  
  1031.    (c)  Primary memory available ....................................
  1032.  
  1033.    (d)  If disk-based DSA, disk I/O interface and disk speed ........
  1034.  
  1035.    (e)  O/S version .................................................
  1036.  
  1037.    (f)  Network type and bandwidth (e.g.  10 Mbit Ethernet) .........
  1038.  
  1039.    (g)  Protocols in transport layer and below (e.g.  TP 0, RFC1006,
  1040.         TCP/IP) .....................................................
  1041.  
  1042.    (h)  How/where timings obtained?
  1043.  
  1044.          o  C procedural interface ..................................
  1045.  
  1046.          o  DUA shell (e.g.  Quipu's DISH) ..........................
  1047.  
  1048.  
  1049.  
  1050.  
  1051.  
  1052.  
  1053.  
  1054.  
  1055.  
  1056.  
  1057.  
  1058.  
  1059.  
  1060.  
  1061.  
  1062.  
  1063.  
  1064.  
  1065.  
  1066.  
  1067.  
  1068.  
  1069.  
  1070.  
  1071.  
  1072.  
  1073.  
  1074.  
  1075.  
  1076.  
  1077.  
  1078.  
  1079.  
  1080.  
  1081.  
  1082.  
  1083.  
  1084. Barker and Hedberg             Expires Oct 31 1993             Page 17
  1085.  
  1086.  
  1087.  
  1088.  
  1089. INTERNET--DRAFT                 DSA Metrics                 April 1993
  1090.  
  1091.  
  1092.           __________________________________________________
  1093.           |_____________Section____________||____Points_____|
  1094.           |_No.||Description_______________|Maximum|Scored_|__
  1095.           |    ||                          |       |       |
  1096.           |___2||General_Information_______|__20___|_..._:_|_
  1097.           |    ||                          |       |       |
  1098.           |___3||Conformance_to_OSI________|__35___|_..._:_|_
  1099.           |     |          |               |       |       |
  1100.           |___4||Other_protocols___________|___5___|_..._:_|_
  1101.           |     |          |               |       |       |
  1102.           |   5 |Extensions_|Schema_________|_16___|_..._:_|_
  1103.           |     |          |               |       |       |
  1104.           |     |to the    _|Replication____|_10___|_..._:_|_
  1105.           |     |          |               |       |       |
  1106.           |     |1988      _|Access_Control_|_15___|_..._:_|_
  1107.           |     |          |               |       |       |
  1108.           |_____|standard___|Miscellaneous__|__5___|_..._:_|_
  1109.           |    ||Miscellaneous             |       |       |
  1110.           |___6||characteristics___________|__15___|_..._:_|_
  1111.           |    ||                          |       |       |
  1112.           |___7||Management_tools__________|__10___|_..._:_|_
  1113.           |    ||                          |       |       |
  1114.           |___8||Operational_use___________|__10___|_..._:_|_
  1115.  
  1116.           |    ||                          |       |       |
  1117.           |___9||Interoperability__________|__10___|_..._:_|_
  1118.           |    ||                          |  see  |       |
  1119.           |__10||Performance_______________|table_2|_..._:_|_
  1120.                         Table 1:  DSA Metrics
  1121.  
  1122.  
  1123.  
  1124.  
  1125.  
  1126.  
  1127.  
  1128.  
  1129.  
  1130.  
  1131.  
  1132.  
  1133.  
  1134.  
  1135.  
  1136.  
  1137.  
  1138.  
  1139.  
  1140.  
  1141.  
  1142.  
  1143.  
  1144.  
  1145. Barker and Hedberg             Expires Oct 31 1993             Page 18
  1146.  
  1147.  
  1148.  
  1149.  
  1150. INTERNET--DRAFT                 DSA Metrics                 April 1993
  1151.  
  1152.  
  1153.  
  1154.  
  1155.  
  1156.  
  1157.  
  1158.         ______________________________________________________
  1159.         | Operation         ||   Cold DSA    ||     Optimum    |
  1160.         |___________________||_______________||___Performance__|
  1161.  
  1162.         | Bind              ||               ||                |
  1163.         |    --Anonymous    ||.............. || .............. |
  1164.         |    --Simple       ||.............. || .............. |
  1165.         |    --Simple Prot  ||.............. || .............. |
  1166.         |____--Strong_______||.._...._..._.._||_.._...._...._:_|
  1167.         | List              ||               ||                |
  1168.         |    -- 10 entries  ||.............. || .............. |
  1169.         |____--_1000_entries||.._...._..._.._||_.._...._...._:_|
  1170.         | Search             |single |subtree |single|subtree |
  1171.         |                   _|level__|_______|level_|________|_
  1172.         |                    |      |        |      |        |
  1173.         |    -- exact        |....  |......  |..... | ...... |
  1174.         |    -- leading sub  |....  |......  |..... | ...... |
  1175.         |    -- any sub      |....  |......  |..... | ...... |
  1176.         |    -- trailing sub |....  |......  |..... | ...... |
  1177.         |    -- approx       |....  |......  |..... | ...... |
  1178.         |    -- complex      |....  |......  |..... | ...... |
  1179.         |____--_return_all___|....__|..._..__|.._.._|_..._.._|_
  1180.         |                   ||               ||                |
  1181.         |_Read______________||.._...._..._.._||_.._...._...._:_|
  1182.         | Add               ||               ||                |
  1183.         |     0 siblings    ||.............. || .............. |
  1184.         |     10 siblings   ||.............. || .............. |
  1185.         |_____1000_siblings_||.._...._..._.._||_.._...._...._:_|
  1186.         |                   ||               ||                |
  1187.         | Modify            ||               ||                |
  1188.         |     10 siblings   ||.............. || .............. |
  1189.         |_____1000_siblings_||.._...._..._.._||_.._...._...._:_|
  1190.         |                   ||               ||                |
  1191.         | Modify RDN        ||               ||                |
  1192.         |     10 siblings   ||.............. || .............. |
  1193.         |_____1000_siblings_||.._...._..._.._||_.._...._...._:_|
  1194.         |                   ||               ||                |
  1195.         |_Query_rate________||.._...._..._.._||_.._...._...._:_|
  1196.             Table 2:  Speed of operations - default set-up
  1197.  
  1198.  
  1199.  
  1200.  
  1201.  
  1202.  
  1203.  
  1204.  
  1205.  
  1206. Barker and Hedberg             Expires Oct 31 1993             Page 19
  1207.  
  1208.  
  1209.  
  1210.  
  1211. INTERNET--DRAFT                 DSA Metrics                 April 1993
  1212.  
  1213.  
  1214.  
  1215.  
  1216.  
  1217.  
  1218.  
  1219.         ______________________________________________________
  1220.         | Operation         ||   Cold DSA    ||     Optimum    |
  1221.         |___________________||_______________||___Performance__|
  1222.  
  1223.         | Bind              ||               ||                |
  1224.         |    --Anonymous    ||.............. || .............. |
  1225.         |    --Simple       ||.............. || .............. |
  1226.         |    --Simple Prot  ||.............. || .............. |
  1227.         |____--Strong_______||.._...._..._.._||_.._...._...._:_|
  1228.         | List              ||               ||                |
  1229.         |    -- 10 entries  ||.............. || .............. |
  1230.         |____--_1000_entries||.._...._..._.._||_.._...._...._:_|
  1231.         | Search             |single |subtree |single|subtree |
  1232.         |                   _|level__|_______|level_|________|_
  1233.         |                    |      |        |      |        |
  1234.         |    -- exact        |....  |......  |..... | ...... |
  1235.         |    -- leading sub  |....  |......  |..... | ...... |
  1236.         |    -- any sub      |....  |......  |..... | ...... |
  1237.         |    -- trailing sub |....  |......  |..... | ...... |
  1238.         |    -- approx       |....  |......  |..... | ...... |
  1239.         |    -- complex      |....  |......  |..... | ...... |
  1240.         |____--_return_all___|....__|..._..__|.._.._|_..._.._|_
  1241.         |                   ||               ||                |
  1242.         |_Read______________||.._...._..._.._||_.._...._...._:_|
  1243.         | Add               ||               ||                |
  1244.         |     0 siblings    ||.............. || .............. |
  1245.         |     10 siblings   ||.............. || .............. |
  1246.         |_____1000_siblings_||.._...._..._.._||_.._...._...._:_|
  1247.         |                   ||               ||                |
  1248.         | Modify            ||               ||                |
  1249.         |     10 siblings   ||.............. || .............. |
  1250.         |_____1000_siblings_||.._...._..._.._||_.._...._...._:_|
  1251.         |                   ||               ||                |
  1252.         | Modify RDN        ||               ||                |
  1253.         |     10 siblings   ||.............. || .............. |
  1254.         |_____1000_siblings_||.._...._..._.._||_.._...._...._:_|
  1255.         |                   ||               ||                |
  1256.         |_Query_rate________||.._...._..._.._||_.._...._...._:_|
  1257.           Table 3:  Speed of operations - non-default set-up
  1258.  
  1259.  
  1260.  
  1261.  
  1262.  
  1263.  
  1264.  
  1265.  
  1266.  
  1267. Barker and Hedberg             Expires Oct 31 1993             Page 20
  1268.